Récemment, une équipe de recherche issue de plusieurs institutions scientifiques chinoises a publié en grande pompe Infinity-MM, un ensemble de données multimodales à très grande échelle, et a entraîné un modèle d'IA performant, Aquila-VL-2B, basé sur cet ensemble de données. Cette percée apporte une nouvelle dynamique au développement de l'IA multimodale. L'ensemble de données Infinity-MM est d'une taille impressionnante, comprenant quatre grandes catégories de données : 10 millions de descriptions d'images, 24,4 millions de données d'instructions visuelles générales, 6 millions de données d'instructions de haute qualité sélectionnées, et 3 millions de données générées par G

Récemment, une équipe de recherche issue de plusieurs institutions chinoises a créé avec succès l'ensemble de données "Infinity-MM", l'un des plus grands ensembles de données d'IA multimodales publiques à ce jour, et a simultanément entraîné un nouveau petit modèle aux performances exceptionnelles : Aquila-VL-2B. Cet ensemble de données comprend principalement quatre grandes catégories de données : 10 millions de descriptions d'images, 24,4 millions de données d'instructions visuelles générales, 6 millions de données d'instructions de haute qualité sélectionnées et 3 millions de données générées par GPT-4 et d'autres modèles d'IA.

Une équipe de chercheurs chinois a collaboré pour développer FreeMan, un jeu de données multi-vues révolutionnaire visant à résoudre les limites des jeux de données existants pour l'estimation de la pose 3D du corps humain. Ce jeu de données comprend 11 millions d'images vidéo provenant de 8 smartphones, couvrant des environnements intérieurs et extérieurs avec diverses conditions d'éclairage, offrant ainsi de riches ressources pour la diversité des scènes réelles. Les chercheurs ont généré des annotations 3D précises grâce à un processus d'annotation automatisé, utilisables pour diverses tâches telles que la conversion 2D à 3D, l'estimation 3D multi-vues et le rendu neuronal.